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Beschreibung 

Die Erfindung betrifft ein Vertahren zur Ermitllung des Zeitzustandes von Computern, welche in einem in Ebenen 
hierarchisch gegliederten, eine zentrale Hauptuhr aufweisenden Netz zusammengeschaltet sind und Uhrenbausteine 
5 aufweisen, wobei Synchronisierungstelegramme in das Netz eingespeist werden, womit eine durchgangige Synchro- 
nisierung der in den Computern vorhandenen Uhrenbausteinen auf die Zeit der zentralen Hauptuhr bewirkt wird. Eine 
derartiges Vertahren ist aus der EP 0 327 983 bekannt. 

Aus der Veroffenttichung IEEE Transactions on Software Engineering 16 (1990) February, No. 2 ist ferner bekannt 
•a hybrid monitor for behavior and performance analysis of distributed systems*. 
io in der US-PS 4 584 643 ist fur eine fehlertoleranten Uhrzeitfuhrung in verteilten Systemen ein Vertahren beschrie- 

ben, bei dem alle im Netz vorhandenen Uhren an der Festlegung der Systemzeit beteiligt werden, indem der Mittelwert 
aus alien ihren Uhrzeitmeldungen gebildet wird. Diesfuhrt im atlgemeinen zu einem recht hohen Meldungsaufkommen 
und damit zu einer erheblichen Inanspruchnahme der Kommunikationsmittel. 

Die Erfindung stellt sich die Aufgabe ein Vertahren anzugeben, mit dem unter maBiger Inanspruchnahme der 
is Kommunikationsmittel bei systemweiter Uhrzeitfuhrung das Auftreten von unterschiedlichen Zeitbasen im System er- 
kannt und eine fehlerhafte Verknupfung miteinander nicht konsistenter Uhrzeitmeldungen vermieden wird. 

Gelost wird diese Aufgabe mit den in den kennzeichnenden Merkmalen von Anspruch 1 angegebenen MaBnah- 
men. Vorteiihafte weitere Ausgestaltungen der Erfindung sind in den Unteranspruchen angegeben. 

Die Erfindung samt ihren weiteren Ausgestaltungen soil im folgenden anhand der Figuren naher erlautert werden. 
20 Dabei zeigt 
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Figur 1 eine beispielhafte Netz konfigurat ion, 

Figur 2 die empfangenen Synchronisierungstelegramme und die ausgegebenen Zeitstempet fur einige Uhrenbau- 
steine der Konfiguration nach Figur 1, und 
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Figur 3 ein FluBdiagramm zur Auswertung der Zeitstempel zweier Uhrenbausteine. 

Figur 1 zeigt ein Multimikrocomputersystem mit drei hierarchisch gegliederten Netzwerksebenen El bis E3, wovon 
die Ebene E1 die hdchste Hierarchiestufe ist. In den einzelnen Ftechnern vorgesehene Uhrenbausteine - angedeutet 
mit einem Uhrensymbol - werden jeweils von einem Uhrenbaustein der nachsthoheren Ebene synch ronisiert. Eine 
zentrale Hauptuhr HU synchronisiert unmittelbar die Uhrenbausteine der Ebene E1 und bestimmt somit letztlich die 
Uhrzeit im gesamten System. Jeder Uhrenbaustein, der Uhrenbausteine einer tieferen Ebene synchronisiert, wird als 
Master bezeichnet und jeder Uhrenbaustein, der zwar synchronisiert wird, jedoch selbst keine Uhrenbausteine einer 
tieferen Ebene synchronisiert, wird als Slave bezeichnet. Beim dargestellten Beispiel sind also die Master M1 bis M5 
mit ihren netzweit gultigen Kennungen (CLOCKNR) und die Slaves S1 bis S11 vorhanden. Es ist weiterhin noch eine 
zentrale, mit AW bezeichnete Auswerteeinheit vorgesehen, in welcher von den Uhrenbausteinen ausgebbare Zeit-. 
stempel registriert, auf zeitliche Konsistenz OberprOft und die sie austosenden Ereignisse zeittich geordnet werden 
(event ordering). 

Bei den Mastern M3 und M5 ist angenommen, daB sie vorubergehend nicht mit der Hauptuhr HU synchronisiert 
sind. Ein Grund dafur konnte sein, daB keine Synchronisierungstelegramme sie mehr erreicht haben oder daB ein 
Neustart ihres Rechners erfotgt ist. In diesem Fall sind die Master-Uhrenbausteine M3 und M5 freilaufend mit der 
Folge, daB ihre Uhrzeiten nicht mehr konsistent mit denen des ubrigen Systems sind, sondern separate Zeitbasen 
etablieren. 

FOr die drei Netzwerksebenen sollen folgende Synchronisierungsparameter gelten: 





E1 


E2 


E3 


Synchronisierungszyklus [sec] 


60 


10 


1 


Uhrzeitauflosung [msec] 


10 


10 


1 


Synchronisierungsverzug [msec] 


1,2 


0,5 


0,2 



Synchronisierungszyklus ist der zeitliche Abstand, in dem die Synchronisierungs- bzw. Uhrzeittelegramme aufein- 
ander foigen, die Uhrzeitauflosung ist der extern wahrnehmbare zeitliche Rasterschritt mit dem der Uhrenbaustein 
seine Zeit hochzahlt und der Synchronisierungsverzug ist die maximale Asynchronitat, die innerhaib einer Hierarchie- 
ebene zwischen zwei Uhrenbausteinen auftreten kann. Der Synchronisierungsverzug ist im wesentlichen durch das 
Produkt von Synchronisierungszyklus und Quarztoleranz des Uhrenbausteins bestimmt. 

Fur das vorstehend geschilderte Szenario gibt bezuglich der Slave-Uhrenbausteine SI . S3, S4, S9 und S10 die 
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Figur 2 den Inhalt der erfindungsgemaB vorgesehenen zusatzlichen Informationsfelder wieder und zwar in der linken, 
mit TEL bezeichneten Spalte die Informationsfelder der von diesen Uhrenbausteinen empfangenen Synchronisie- 
rungsstelegrammen und in der rechten, mit ST bezeichneten Spalte die Informationsfelder der von diesen Bausteinen 
ausgegebenen Zeitstempeln. Sowohl die Telegramme als auch die ausgegebenen Zeitstempel sind noch um entspre- 
s chende Felder fur Uhrzeit und Datum erganzt zu denken, welche jedoch der besseren ubersichtlichkeit halber weg- 
gelassen wurden. 

Das erste, mit CLOCKNR bezeichnete Feld enthatt die Information uber die Synchronisierungsquelle, d.h., die 
Kennung des jeweiligen Masters, von dem das empfangene Telegramm orginar stammt. Es wird also immer die Ken- 
nung desjenigen Masters eingetragen, der in der hierarchiehochsten Ebene liegt. Dies wird deutlich beim CLOCKNR- 

io Feld des Slaves S9. Auf diese Weise enthalt das mit CLOCKNR gekennzeichnete Feld immer die Kennung der hochst- 
prioren Synchronisierungsquelle. 

Das nachste, mit VERS bezeichnete Feld besteht beim Synchronisierungstelegramm aus drei und beim Uhrzeit- 
stempel aus vier Teitfeldern. In dem mit F1 bezeichneten Teilfeld wird mit T (= True) gekennzeichnet, ob der synchro- 
nisierende Master-Uhrenbaustein auf die zentrale Hauptuhr HU synch ronisiert ist, oder ob er Ireilaufend" mit eigener 

is Zeitbasis synchronisiert. In letzterem Fall ist das Teilfeld F1 auf den Wert F (= False) gesetzt. Wenn das Teilfetd F1 
auf den Wert T gesetzt ist, bedeutet der Wert T in dem mit F2 bezeichneten Teilfeld, daB von der Hauptuhr HU Som- 
merzeit ausgegeben ist, fur F2 = F, wOrde die Hauptuhr Winterzett ausgeben. 

Im Falle. daB F1 = False eingetragen ist, kennzeichnet das dritte Teilfeld beim Synchronisierungstelegramm bzw. 
das vierte Teilfeld beim Uhrzeitstempel die laufende Nummer der aktuellen Freilaufphase des Masters. Ihr Inhalt gibt 

20 an, wie oft der diesen Slave synchronisierende Master schon gezwungen war, infolge einer gewollten oder ungewollten 
Abkopplung von der Hauptuhr beispielsweise durch Ausfall der Synchronisierungstelegramme oder sonstigen Storun- 
gen, die Uhrzeit der ihm nachgeordneten Uhrenbausteine autonom zu bestimmen. In diesem Fail erzeugt er selbst die 
Synchronisierungstelegramme fur die ihm untergeordneten Hierarchieebenen und tragt im Feld CLOCKNR seine ei- 
g ene Kennung ein. Aus dem dritten Teilfeld des VERS-Feldes der Slave-Uhrenbausteine S4 und S10 ist ersichtlich, 

25 daB die sie synchronisierenden Master- Uhrenbausteine M3 bzw. M5 zum ersten Mai in eine Freilaufphase gewechselt 
haben. Es kann also die im vierten Teilfeld des VERS-Feldes enthaltene Zahl als die laufende Nummer einer auf den 
Obergeordneten synchronisierenden Master bezogenen jeweils neu etablierten Zeitbasis interpreted werden. Das mit 
FO bezeichnete Teilfeld ist eine Erweiterung des VERS-Feldes fur den Zeitstempel. Jeder Uhrenbaustein setzt dieses 
Teilfeld auf den Wert T (True), wenn er auf einen Obergeordneten Master-Uhrenbaustein synchronisiert ist. 

30 Von besonderer Bedeutung ist das mit SLAG bezeichnete, den Synchronisierungsverzug angebende Feld. Jeder 

Master-Uhrenbaustein addiert den fur seine Hierarchieebene relevanten Synchronisierungsverzug zu dem ihm im Syn- 
chronisierungstelegramm mitgeteilten Synchronisierungsverzug. Es akkumulieren sich also in diesem Feld jeweils die 
Werte des Synchronisierungsverzugs in den einzelnen durchlaufenen Hierarchieebenen. So weist das SLAG-Feld bei 
dem vom Slave-Uhrenbaustein S1 empfangenen Telegramm den Wert von 1,2 msec, auf, wahrend das SLAG-Feld 

35 des vom Slave-Uhrenbaustein S9 empfangenen Telegramms den Wert von 1 ,7 msec aufweist, entsprechend der Sum- 
me aus dem in der Ebene E1 vorhandenen Synchronisierungsverzug (1 ,2 msec) und dem in der Ebene E2 zu beruck- 
sichtigenden Synchronisierungsverzug (0,5 msec). Den Wert des SLAG-Feldes im Zeitstempel berechnet jeder Uh- 
renbaustein aus der Summe des SLAG-Feides im von ihm empfangenen Telegramm und dem Wert des fur seine 
Hierarchieebene relevanten Synchronisierungsverzugs. Dies wird aus einem Vergleich der SLAG-Felder vom emp- 

40 fangenen Telegramm und ausgebbaren Zeitstempel fur die einzelnen Slaves deutlich. 

Die fur die Uhrenbausteine bestimmten Telegramme weisen in ihrem vierten, mit SCYC bezeichneten Feld den 
zeitlichen Abstand auf, in dem die Synchronisierungstelegramme gesendet werden (Synchronisierungs- Zyklus). Die- 
ser Wert ist einerseits wichtig fur die vom Uhrenbaustein vorgenommene Berechnung des Synchronisierungsverzugs 
und dient des weiteren zu Ptausibilitatsprufungen in dem zu synchronisierenden Uhrenbaustein bei Eintreffen der 

45 Telegramme sowie zur Uberwachung der regelmaBigen Synchronisierung, womit der Ausfall eines Master-Uhrenbau- 
steins erkennbar wird. 

Als letzte der zusatzlichen Informationen enthalten die von den Slaves ausgebbaren Uhrzeitstempel noch das mit 
GRAN bezeichnete Feld, in welches die Uhrzeitauflosung eingetragen ist. Die Summe des in diesem Feld eingetra- 
genen Wertes und der im Feld SLAG eingetragene, akkumuiierte Synchronisierungsverzug bestimmt die Ereignisauf- 

50 losung eines Uhrenbaustein. Unter E reign isaufldsung wird in diesem Zusammenhang der Mindestabstand verstanden, 
den zwei zu vergleichende Zeitstempel haben mussen, damit die damit gekennzeichneten Ereignisse bei der Auswer- 
tung in eine eindeutige zeitltche Reihenfolge im Sinne von vorher/nachher (event ordering) gebracht werden konnen. 
Diese so gekennzeichnete Ereignisauflosung ist damit gleichzeitig auch der maximale Differenzfehler der bei Berech- 
nung von Zeitintervallen zwischen zwei Zeitstempeln auftreten kann. 

55 Figur 3 zeigt anhand eines FluBdiagrammes, wie die zusatzlichen Informationen zweier von verschiedenen Uh- 

renbausteinen gelieferter Zeit stempel ST1 und ST2 zur Konsistenzprufung und sich daran anschlieBender Bestim- 
mung der Ereignisauflosung verwendet werden. Zunachst wird gepruft, ob die Teilfetder FO der beiden Zeitstempel auf 
den Wert T gesetzt sind. Ist dies nicht der Fall, werden die beiden Zeitstempel unter Ausgabe der Fehlermeldung INK 
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als nicht konsistent abgewiesen, weil aufgrund unterschiedlicher Zeitbasen keine Aussage daruber getroffen werden 
kann, welcher Zeitstempel das fruhere bzw. das spatere Ereignis kennzeichnet. Danach erfolgt die Prufung, ob die 
Teilf elder F1 in den beiden Zeitstempeln den Wert T haben. Im bejahenden Fall erfolgt eine Uberprufung, ob die Teil- 
felder F2 der beiden Zeitstempel ST1 und ST2 denselben Wert haben (Sommerzeit oder Winterzert). !m bejahenden 

s Fail ist die Konsistenzprufung erfolgreich verlaufen. Waren bei der OberprOfung der Teilf elder F1 nicht beide auf den 
Wert T gesetzt, was z.B. der Fall sein konnte, wenn beide Uhrenbausteine auf denselben, freilaufenden Master syn- 
chrontstert sind, dann wird gepruft, ob die Felder CLOCKNR und VERS der beiden Zeitstempel ubereinstimmen. Wird 
diese Frage verneint, so werden die beiden Zeitstempel wiederum als inkonsistent abgewiesen, wahrend im bejahen- 
den Fall die Ereignisauflosung EA der beiden zeitkonsistenten Zeitstempel ermittelt wird. die sich aus der jeweils gro- 

10 Geren Summe der Werte in den Felder GRAN und SLAG von beiden Zeitstempeln ergibt. 

Die Anwendung dieses FluBdiagramms auf das Beispiel der Figur 2 zeigt, daG mit dem erfindungsgemaGen Ver- 
fahren zeitkonsistente Zeitstempel und die Ereignisauflosung schlussig und widerspruchsfrei bestimmt werden konnen. 



is Patentanspruche 

1. Veriahren zur Ermittlung des Zeitzustandes von Computern, welche in einem in Ebenen (E1,E2,E3) hierarchisch 
gegliederten, eine zentrale Hauptuhr (HU) aufweisenden Netz zusammengeschaltet sind und Uhrenbausteine 
(M1...M5.S1...S11) aufweisen, wobei 

20 a) Synchronisierungstelegramme (TEL) in das Netz eingespeist werden, womit eine durchgangige Synchro- 

nisierung der in den Computern vorhandenen Uhrenbausteinen (Mt ... M5, S1 ...S11) auf die Zeit der zentralen 
Hauptuhr (HU) bewirkt wird, und 
dadurch gekennzeichnet, daG 

25 b) Zeitstempel (ST;ST1,ST2) vorgesehen sind, welche von den Uhrenbausteinen (S1...S11) der Computer an 

Endzweigen des Netzes in das Netz eingespeist werden und zumindest Informationsfelder aufweisen betref- 
fend der aktuellen Werte von 

b1) Datum und Uhrzeit, 
30 b2) Synchronisierungsquelle (CLOCKNR) und 

b3) Synchronisierungsart (VERS), und 

c) fur die Prufung der zeitlichen Konsistenz zweier von den Uhrenbausteinen (S1...S11) abgegebener Zeit- 
stempel (ST1.ST2) zumindest deren Informationsfelder betreffend die Synchronisierungsart (VERS) und die 
35 Synchronisierungsquelle (CLOCKNR) auf das Voriiegen von Ubereinstimmung verglichen werden. 

2. Veriahren nach Anspruch 1 , wobei 

a) die Zeitstempel (ST;ST1 ,ST2) zusatzliche Informationsfelder aufweisen betreffend der aktueilen Werte von 

40 

a1) Synchronisierungsverzug (SLAG) und 
a2) Uhrzeitauflosung (GRAN), und 

b) nach einer positiv verlaufenen Prufung der zeitlichen Konsistenz zweier Zeitstempel (ST1 , ST2) der minimale 
45 zeitliche Abstand (EA) zweier zeitlich noch auflosbaren Ereignisse der Zeitstempel ermittelbar ist, welcher der 

jeweils groGeren Summe ( GRAN(ST1)+SLAG(ST1) bzw. GRAN(ST2)+ SLAG(ST2) ) aus der Uhrzeitauf- 
losung (GRAN) und dem Synchronisierungsverzug (SLAG) von einem der beiden Zeitstempel (ST1 bzw. ST2) 
entspricht. 

50 3. Veriahren nach einem der vorangegangenen Anspruche, wobei in den Zeitstempeln (ST1 ,...) eines Uhrenbaustet- 
nes (S1 ,...) die Informationen betreffend Synchronisierungsquelle (CLOCKNR) und Synchronisierungsart (VERS) 
aus dem jeweils zuletzt von einem im Netz ubergeordneten Uhrenbaustein (M1...M5) empfangenen Synchroni- 
sierungstelegramm (TEL) ubemommen werden. 

55 4. Veriahren nach einem der vorangegangenen Anspruche, wobei in die Zeitstempel (ST;ST1,ST2) als Synchroni- 
sierungsverzug (SLAG) die Summe aus dem Synchronisierungsverzug in der eigenen Netzwerksebene 
(E1.E2.E3) und dem im Synchronisierungstelegramm (TEL) mitgeteilten Synchronisierungsverzug der jeweils hd- 
heren Netzwerksebenen eingetragen wird (Fig. 2). 
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Vertahren nach einem der vorangegangenen Anspruche, wobei die Sychronisierungstelegramme (TEL) ein Infor- 
mationsfeld (SCYC) betreffend den Synchronisierungszyklus des sendenden Uhrenbausteines (HU.M1 ..MS) ent- 
halten. 
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Claims 

1. Method to determine the time state of computers which are connected together in a network, which has a hierar- 
chical structure in levels (E1.E2.E3) and has a central master clock (HU), and which have clock modules (M1... 
M5.S1...S11), whereby 

a) synchronization messages (TEL) are fed into the network, whereby a continual synchronization of the 
clock modules (M1 ...M5, S1 ...S1 1 ) present in the computers to the time of the central master clock (HU) is effected, 
and 

characterized in that 

b) time stamps (ST;ST1 ,ST2) are provided which are fed by the clock modules (S1 ...S11 ) of the computers at 
end branches of the network into the network and have at least information fields relating to the current values of 

b1 ) date and time of day, 
20 b2) synchronization source (CLOCKNR) and 

b3) synchronization type (VERS), and 

c) for the examination of the temporal consistency of two time stamps (ST1 , ST2) emitted by the clock modules 
(S1 ...S11 ) at least their information fields relating to the synchronization type (VERS) and the synchronization 

25 source (CLOCKNR) are compared for the presence of agreement. 

2. Method according to claim 1 , whereby 

a) the time stamps (ST;ST1,ST2) have additional information fields relating to the current values of 

30 

a1 ) synchronization delay (SLAG) and 
a2) time-of-day resolution (GRAN), and 

b) after an examination of the temporal consistency of two time stamps (ST1 ,ST2) which has given a positive 
35 result, the minimum time interval (EA) of two events of the time stamps which can still be resolved as a function 

of time can be determined, which corresponds to the respectively larger sum ( GRAN(ST1 )+SLAG(ST1 ) and 
GRAN(ST2)+SLAG(ST2) ) of the time-of-day resolution (GRAN) and the synchronization delay (SLAG) of 
one of the two time stamps (ST1 and ST2). 

40 3. Method according to one of the preceding claims, whereby in the time stamps (ST1 ,...) of a clock module (S1, ..) 

the information relating to the synchronization source (CLOCKNR) and synchronization type (VERS) is taken from 
the synchronization message (TEL) received in each case last by a higher-ranking clock module (M1...M5) in the 
network. 

45 4. Method according to one of the preceding claims, whereby there is entered into the time stamps (ST;ST1 ,ST2) as 
synchronization delay (SLAG) the sum of the synchronization delay in the specific network level (E1.E2.E3) and 
• the synchronization delay of the respectively higher network levels communicated in the synchronization message 
(TEL) (Figure 2). 

so s. Method according to one of the preceding claims, whereby the synchronization messages (TEL) contain an infor- 
mation field (SCYC) relating to the synchronization cycle of the transmitting clock module (HU.M1...M5). 



Revendications 

1. Procede de determination de I'etat temporel d'ordinateurs, qui sont interconnects dans un reseau divise hierar- 
chiquement en plans (E1 , E2, E3) et comportant une horloge (HU) principale centrale et qui comportent des mo- 
dules d'horloge (Ml a MS, S1 a Sll), 
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a) dans lequel on introduit des telegrammes (TEL) de synchronisation dans !e reseau, par lesquels on pro- 
voque une synchronisation continue des modules d'horloge (M1 a M5, S1 a S11) presents dans les ordinateurs 
sur le temps de I'horloge principale centrale (HU), et 

caracterise en ce que 

b) on prevoit des reperes temporels (ST t ST1, ST2), qui sont introduits par les modules d'horloge (SI a S11) 
des ordinateurs a des branches d'extremtte du reseau dans le reseau et qui component au moins des champs 
d'informations concernant les valeurs actuelles de 

b1 ) la date et I'heure, 

b2) la source de synchronisation (CLOCKNR) et 
b3) le type de synchronisation (VERS), et 

c) on compare, pour le controle de la coherence temporelle de deux reperes temporels (ST1 , ST2) fournis par 
les modules d'horloge (S1 a S11), au moins le type (VERS) de synchronisation et la source (CLOCKNR) de 
synchronisation de leurs champs d'informations en ce qui conceme la presence d'une concordance. 

Procede suivant la revendication 1 , dans lequel 

a) les reperes temporels (ST; ST1, ST2) ont des champs d'informations supplementaires concernant les 
valeurs actuelles 

a1) du retard de synchronisation (SLAG) et 
a2) de la resolution de I'heure (GRAN), et 

b) lorsque le controle de la coherence temporelle de deux reperes temporels (ST1 , ST2) s'est deroule de 
maniere positive, on peut determiner I'ecart temporel minimal (EA) de deux evenements, que Ton peut encore 
rdsoudre temporellement, des reperes temporels, lequel 6cart correspond a la plus grande somme (GRAN 
(ST1)+SLAG(ST1) ou GRAN (ST2)+SLAG(ST2)) de la resolution de I'heure (GRAN) et du retard de synchro- 
nisation (SLAG) de Tun des deux reperes temporels (ST1 ou ST2). 

Precede suivant Tune des revendications precedentes, dans lequel on prend en charge dans les reperes temporels 
(ST1 ,-...) d'un module d'horloge (S1 , ...) les informations concernant la source de synchronisation (CLOCKNR) et 
le type de synchronisation (VERS) a partir du tel^gramme (TEL) de synchronisation recu en dernier d'un module 
d'horloge (M1 a M5) de rang hierarchique superieur dans le reseau. 

Procede suivant Tune des revendications precedentes, dans lequel on porte dans les reperes temporels (ST; ST1 , 
ST2), comme retard de synchronisation (SLAG), la somme du retard de synchronisation dans le propre plan du 
reseau (E1, E2, E3) et du retard de synchronisation, qui lui est communique dans le telegramme (TEL) de syn- 
chronisation, des plans du r6seau plus Aleves (Fig. 2). 

Procede suivant Tune des revendications precedentes, dans lequel les telegrammes (TEL) de synchronisation 
comprennent un champ (SCYC) d'informations concernant le cycle de synchronisation-du module (HU, M1 a M5) 
d'horloge emetteur. 
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EA = max ( GRAN ( ST, ) . SLAG ( ST t ) . GRAN ( ST 2 ) ♦ SLAG ( ST 2 ) I 

FIG 3 
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